The Cold-Start Safety Gap in LLM Agents
LLM Agent 的冷启动安全差距现象
🧭 Agent 安全性 · 冷启动安全差距
University of California, San Diego
发现 LLM Agent 在会话起始安全性最弱，通过预先完成少量常规任务可显著提升安全性 9-52%
📌 工作参考价值（4 点）
- Agent 部署预热策略：在 Agent 正式接收用户请求前，先让它完成几个常规的无害工具调用任务（如查询天气、简单 API 调用），可以显著降低后续面对恶意请求时的风险。这个预热步骤可直接嵌入 Agent 初始化流程，成本低且不影响模型功能。
- 安全评估中加入对话深度维度：现有安全评估往往只在首轮对话测试，遗漏了冷启动脆弱性。在设计内部 Agent 安全 Benchmark 时，应控制前置常规任务数量，模拟真实部署中上下文逐渐累积的场景，避免高估安全性。
- 基于隐藏表示的在线安全监控：论文发现模型隐藏状态会随前置任务增多向安全对齐区域迁移，这一动态特征可用来构建轻量级安全监控器——在 Agent 运行过程中持续检测状态偏离，预警潜在不安全行为。
- 区分安全与效用的影响因素：实验表明，Agent 先前的回答对安全影响较小但对保持效用至关重要，因此预热时若只施以安全指令而忽略实际任务执行，可能损害后续功能。部署预热应使用真实的常规任务，而非单纯的安全提示。